KV4-RL: Unlocking Faster Asynchronous Rollouts for RLVR with INT4 KV Cache Quantization
KV4-RL：INT4 KV Cache 量化加速 RLVR 异步 Rollout
🧭 RLVR 训练加速 · KV cache 量化
KAIST · NAVER Cloud · AITRICS
提出 KV4-RL，通过校准无关 INT4 KV 量化与选择性 INT8 保护 attention sinks 和近期上下文，在保持训练质量的同时大幅加速 RLVR 异步 rollout
📌 工作参考价值（4 点）
- 在使用 GRPO/RLVR 微调电商/搜索领域的推理型 LLM（如 query 改写、生成式推荐）时，可直接引入 KV cache 量化加速 rollout：长尾生成导致 KV 工作负载集中，KV 量化比权重量化或 weight-activation 量化收益更大。
- 选择性 INT8 保护策略可迁移到其他量化训练场景：对 attention sinks 和最近若干个 token 保持高精度，能有效缩小采样分布偏移（sampler mismatch），避免训练退化，同时保留大部分 INT4 加速。
- 校准无关的 INT4 KV 量化无需校准数据集，适合 RLVR 异步 rollout 中动态变化的 prompt 和生成长度，工程实现门槛低，可与 token-level truncated importance sampling（TIS）结合进一步稳定训练。
- 若业务中有大规模 LLM 自博弈或在线采样（如用 LLM 生成推荐理由、广告文案），可考虑对 KV cache 采用 INT4 量化，尤其当并发解码使 KV 成为主要瓶颈时，能显著降低推理成本而不明显损失最终模型质量。